Een eerste vermelding van het kasteel van Potegem gaat terug tot de tweede helft van de 10de eeuw. In een akte schenkt Arnulf I de Grote, de toenmalige graaf van Vlaanderen, een deel van zijn bezittingen aan de Sint-Pietersabdij van Gent waaronder ook het Kasteel van Potegem. In 1260-1270 verdwijnt Potegem uit het bezit van de Sint-Pietersabdij.
In de 16de eeuw, toen de Spanjaarden heersten in onze streken, bewoonde Walter van Potegem, derde graaf van de heerlijkheid van Ingelmunster, het kasteel.
In 1830, het jaar van de Belgische onafhankelijkheid, richten Ivo en Julie Van Robaeys in het kasteel van Potegem een exclusief jongenspensionaat op, nadien wordt het eigendom van het OCMW. In 1930 koopt industrieel Robert Vindevogel het vervallen kasteel van Potegem van het OCMW en laat het restaureren door architect Viérin. Hij gaf het kasteel zijn huidig uitzicht in neobarokstijl.
Het kasteel van Potegem, één van de oudste en belangrijkste van het Waregemse patrimonium, wordt vandaag bewoond door de familie Devos.